3D video to 2D video
@Morning_wood17: 夜、自販機前で。
(Unity, ComfyUI, Krita, Shoost)
https://video.twimg.com/ext_tw_video/1747202639413268480/pu/vid/avc1/1080x1080/ub2LEn2e0jCr2sEl.mp4?tag=14#.mp4
@Morning_wood17: 以下、簡単なワークフロー解説
まず背景を作るためにUnityでオブジェクトを配置して画面をキャプチャ
→LCMでリアルタイムプレビズ
アングルその他が決まったら自販機の写真を撮りに行く
→写真から線画情報のみを取り出し簡略化したうえで縮尺、配置を変更、オブジェクトを書き足す
→情景指定してイラスト化
次にキャラの動きを決めて、スマホの前で自分で演技して動画に収める
→物体検知系のノードを使って等身を変更（前投稿した雪のミクちゃんで試した方法）
→姿勢情報だけ抜き出す
→Openposeでv2v(全フレをプロンプトで補助、表情変更もプロンプト。普通に数千文字になるのでカウントアップや修正など単純な作業は全部GPTに投げる)
背景とキャラをShoostでコンポジット（光源はkritaで素材作成）
→レンダリング→kritaでレタッチ→Upscale→kritaでレタッチ
MMDアニメを2Dアニメに
@izumisatoshi05: AIで実写動画から手書き風アニメに変換するテスト
Three D Pose Tracker → VRMに流し込む → 背景と合成 → Waifu Diffusion → Waifu2xでフレーム補完
全身が映ってるポーズ推定のやりやすい動画なら、一度3Dモデルを介することで高い精度を達成できることが分かった。
https://youtu.be/wNX8xJExMiQ
@Mega_Gorilla_: 来たかもしれない！
Novel AIだけで、動画作ると画像ごとの関連性がないのでグリッチ感が否めなかったのだけども、「Few-Shot-Patch-Based-Training」で学習させたら、良い感じ！
もう少し教師データ修正すればかなり改善しそう！
NovelAI Diffusion
@Mega_Gorilla_: 出来たわ。。３DのAIを用いたアニメ化！
#NovelAI + FSBTで、
GitHub - OndrejTexler/Few-Shot-Patch-Based-Training: The official implementation of our SIGGRAPH 2020 paper Interactive Video Stylization Using Few-Shot Patch-Based Training
i2iの弱点である、表情や髪型、服装に一貫性がない問題を修正しつつ、3Dの躍動感と２Dの可愛さを出来たぞ。
私が求めていたのはこれ！！
@izumisatoshi05: うおおおお！京アニ手描き風のセーラー服初音ミクがかわいい！そして「dreamboothで元動画を学習させ破綻を防ぎつつ、プロンプトで任意の絵柄を適応する」というやりたかったことが出来てる！！
プロンプトエンジニアリングを頑張れば伸びしろはまだまだあるだろうけど、いったんそれは後回し→